这项工作介绍了一种新型的跨域注意力构建体系结构-XDOR-用于健壮的现实世界无线射频（RF）指纹识别。据我们所知，这是第一次将这种全面的注意机制应用于解决RF指纹问题。在本文中，我们在室内实验测试台上，在丰富的多径和不可避免的干扰环境中诉诸现实世界的物联网和蓝牙（BT）排放（而不是合成波形的产生）。我们通过包括在几个月内收集的波形来显示捕获时间框架的影响，并演示相同的时间框架和多个时间框架指纹评估。通过进行单任务和多任务模型分析，在实验中证明了诉诸多任务结构的有效性。最后，我们通过对针对众所周知的指纹最新模型进行基准测试，证明了拟议的Xdom体系结构获得的性能显着增长。具体而言，我们在单任务WiFi和BT指纹印刷下报告的性能提高高达59.3％和4.91倍，在多任务设置下指纹准确性提高了50.5％。

未来的通信网络必须解决稀缺范围，以适应异质无线设备的广泛增长。无线信号识别对于频谱监视，频谱管理，安全通信等越来越重要。因此，对边缘的综合频谱意识有可能成为超越5G网络的新兴推动力。该领域的最新研究具有（i）仅关注单个任务 - 调制或信号（协议）分类 - 在许多情况下，该系统不足以对系统作用，（ii）考虑要么考虑雷达或通信波形（同质波形类别），（iii）在神经网络设计阶段没有解决边缘部署。在这项工作中，我们首次在无线通信域中，我们利用了基于深神经网络的多任务学习（MTL）框架的潜力，同时学习调制和信号分类任务，同时考虑异质无线信号，例如雷达和通信波形。在电磁频谱中。提出的MTL体系结构受益于两项任务之间的相互关系，以提高分类准确性以及使用轻型神经网络模型的学习效率。此外，我们还将对模型进行实验评估，并通过空中收集的样品进行了对模型压缩的第一手洞察力，以及在资源受限的边缘设备上部署的深度学习管道。我们在两个参考体系结构上展示了所提出的模型的显着计算，记忆和准确性提高。除了建模适用于资源约束的嵌入式无线电平台的轻型MTL模型外，我们还提供了一个全面的异质无线信号数据集，以供公众使用。

第五代（5G）网络和超越设想巨大的东西互联网（物联网）推出，以支持延长现实（XR），增强/虚拟现实（AR / VR），工业自动化，自主驾驶和智能所有带来的破坏性应用一起占用射频（RF）频谱的大规模和多样化的IOT设备。随着频谱嘎嘎和吞吐量挑战，这种大规模的无线设备暴露了前所未有的威胁表面。 RF指纹识别是预约的作为候选技术，可以与加密和零信任安全措施相结合，以确保无线网络中的数据隐私，机密性和完整性。在未来的通信网络中，在这项工作中，在未来的通信网络中的相关性，我们对RF指纹识别方法进行了全面的调查，从传统观点到最近的基于深度学习（DL）的算法。现有的调查大多专注于无线指纹方法的受限制呈现，然而，许多方面仍然是不可能的。然而，在这项工作中，我们通过解决信号智能（SIGINT），应用程序，相关DL算法，RF指纹技术的系统文献综述来缓解这一点，跨越过去二十年的RF指纹技术的系统文献综述，对数据集和潜在研究途径的讨论 - 必须以百科全书的方式阐明读者的必要条件。

对无人机系统（UAS）6G通信网络的供电解决方案的发动机解决方案非常广泛地增长了基于机器学习的自主模块和嵌入式图形处理单元（GPU）的广泛可用性。虽然这些技术已经彻底改变了UAS解决方案的可能性，但为UAS设计可操作，稳健的自主框架仍然是一个多方面和难题。在这项工作中，我们向US-IFLY提供了我们的小说，模块化框架，题为MR-IFLY，并讨论如何扩展它以启用6G Swarm解决方案。我们首先详细说明基于机器学习的UAS自主权与资源受限设备相关的挑战。接下来，我们深入描述，MR-IFLY的新颖深度估计和碰撞避免技术如何满足这些挑战。最后，我们描述了我们用来测量性能的各种评估标准，展示我们的优化机器视觉组件如何提供最多15倍的基线模型，并呈现MR-Ifly基于视觉碰撞避免技术的飞行演示视频。我们认为，这些经验结果通过提供独立的碰撞避免和导航能力来减少6G通信群中的节点之间的通信开销的候选者。

在该立场论文中，我们讨论将零信任（ZT）原理集成到下一代通信网络（5G/6G）中的关键需求。我们强调了挑战，并介绍了智能零信任体系结构（I-ZTA）作为具有不受信任组件的5G/6G网络中的安全框架的概念。尽管网络虚拟化，软件定义的网络（SDN）和基于服务的体系结构（SBA）是5G网络的关键推动者，但在不信任的环境中运行也已成为网络的关键功能。此外，与大量设备的无缝连通性扩大了信息基础设施的攻击表面。在动态不信任的环境中，网络保证要求超出现有静态安全框架以外的革命性体系结构。据我们所知，这是第一张呈现I-ZTA的建筑概念设计的立场论文，可以在其上开发现代人工智能（AI）算法以在不信任的网络中提供信息安全性。我们将关键的ZT原理作为对网络资产安全状态的实时监视，评估单个访问请求的风险以及使用动态信任算法（称为MED组件）决定访问授权的。为了确保易于集成，设想的体系结构采用了基于SBA的设计，类似于5G网络的3GPP规范，通过利用开放无线电访问网络（O-RAN）体系结构具有适当的实时引擎和网络接口来收集必要机器学习数据。因此，这项工作为设计基于机器学习的组件提供了新的研究方向，这些组件为未来的5G/6G网络有助于I-ZTA。

Tuberculosis (TB), an infectious bacterial disease, is a significant cause of death, especially in low-income countries, with an estimated ten million new cases reported globally in $2020$. While TB is treatable, non-adherence to the medication regimen is a significant cause of morbidity and mortality. Thus, proactively identifying patients at risk of dropping off their medication regimen enables corrective measures to mitigate adverse outcomes. Using a proxy measure of extreme non-adherence and a dataset of nearly $700,000$ patients from four states in India, we formulate and solve the machine learning (ML) problem of early prediction of non-adherence based on a custom rank-based metric. We train ML models and evaluate against baselines, achieving a $\sim 100\%$ lift over rule-based baselines and $\sim 214\%$ over a random classifier, taking into account country-wide large-scale future deployment. We deal with various issues in the process, including data quality, high-cardinality categorical data, low target prevalence, distribution shift, variation across cohorts, algorithmic fairness, and the need for robustness and explainability. Our findings indicate that risk stratification of non-adherent patients is a viable, deployable-at-scale ML solution.

我们研究了在高维度中具有恒定步骤的随机梯度下降（SGD）的缩放限制。我们证明，随着尺寸为无穷大，SGD的摘要统计轨迹（即有限维函数）的轨迹限制了定理。我们的方法允许人们选择所跟踪的摘要统计信息，初始化和步进尺寸。它同时产生弹道（ODE）和扩散（SDE）极限，其极限取决于以前的选择。有趣的是，我们发现了阶梯尺寸的临界缩放机制，在该尺寸下，有效的弹道动力学与人口损失相匹配，但是在此期间，出现了一个新的校正项，从而改变了相图。关于这种有效动力学的固定点，相应的扩散极限可能非常复杂，甚至退化。我们在流行示例中演示了我们的方法，包括估算峰值矩阵和张量模型以及通过两层网络进行二进制和XOR型高斯混合模型的分类。这些示例表现出令人惊讶的现象，包括多模式的时间尺度到收敛以及融合到亚最佳溶液中，概率从随机（例如高斯）初始化范围内偏离零。

近年来，Experts（MOE）的混合物已成为一种有前途的深度学习技术，可以将模型能力扩展为万亿多个参数，同时通过稀疏计算降低计算成本。虽然MoE开设了一个非常大的模型的新领域，但由于MOE的动态性质与系统的静态平行性/管道层之间的不匹配，因此其数以千计的GPU的实现受到限制。我们提出了Tutel，这是一种具有动态自适应并行性和管道的高度可扩展的堆栈设计和实现。 TUTEL在运行时提供自适应并行性切换和自适应管道，分别达到1.74倍和2.00倍的单MOE层加速度。我们还提出了一种用于MOE通信速度的新颖的二维层次结构算法，该算法的表现超过了2,048 GPU的先前最先前的最新时间。 Tutel汇总了所有技术，最终在16 GPU和2,048 GPU上分别提供了4.96倍和5.75倍的加速度，分别通过Fairseq：Meta的Facebook AI AI研究序列到序列工具Kit（Tutel（Tutel）（Tutel）（Tutel）（现在由Fairseq部分采用）。 Tutel源代码可在公共场所获得：https：//github.com/microsoft/tutel。我们的评估表明，Tutel有效，有效地运行了一个基于现实的MOE模型，名为Swinv2-Moe，建立在Swin Transformer V2上，这是一种最先进的计算机视觉体系结构。在效率方面，Tutel加速了Swinv2-MoE，在FairSeq的训练和推理中分别达到1.55倍和2.11倍的速度。关于有效性，SWINV2-MOE模型在预训练和下游计算机视觉任务（例如可可对象检测）方面都比对应的密度密度模型都达到了卓越的精度，这表明Tutel准备对端到端现实世界模型训练的准备就绪和推理。 Swinv2-Moe在https://github.com/microsoft/swin-transformer中开放。

图形卷积网络（GCN）是最受欢迎的体系结构之一，用于解决分类问题，并附有图形信息。我们对图形卷积在多层网络中的影响进行了严格的理论理解。我们通过与随机块模型结合的非线性分离高斯混合模型的节点分类问题研究这些效果。首先，我们表明，单个图卷积扩展了多层网络可以至少$ 1/\ sqrt [4] {\ Mathbb {e} {\ rm veg对数据进行分类的均值之间的距离。 }} $，其中$ \ mathbb {e} {\ rm deg} $表示节点的预期度。其次，我们表明，随着图的密度稍强，两个图卷积将此因素提高到至少$ 1/\ sqrt [4] {n} $，其中$ n $是图中的节点的数量。最后，我们对网络层中不同组合的图形卷积的性能提供了理论和经验见解，得出的结论是，对于所有位置的所有组合，性能都是相互相似的。我们对合成数据和现实世界数据进行了广泛的实验，以说明我们的结果。

Graph-based learning is a rapidly growing sub-field of machine learning with applications in social networks, citation networks, and bioinformatics. One of the most popular models is graph attention networks. They were introduced to allow a node to aggregate information from features of neighbor nodes in a non-uniform way, in contrast to simple graph convolution which does not distinguish the neighbors of a node. In this paper, we study theoretically this expected behaviour of graph attention networks. We prove multiple results on the performance of graph attention mechanism for the problem of node classification for a contextual stochastic block model. Here the node features are obtained from a mixture of Gaussians and the edges from a stochastic block model. We show that in an "easy" regime, where the distance between the means of the Gaussians is large enough, graph attention is able to distinguish inter-class from intra-class edges, and thus it maintains the weights of important edges and significantly reduces the weights of unimportant edges. Consequently, we show that this implies perfect node classification. In the "hard" regime, we show that every attention mechanism fails to distinguish intra-class from inter-class edges. We evaluate our theoretical results on synthetic and real-world data.